R & Statistics

데이터Hub팀
문기범

2020.01.23

Logistic Regression

Neural Network

뉴런 구조

뉴런 이미지

Action Potential

* EPSP (excitatory postsynaptic potential) = 흥분성 연접후 전위

Neural Network

Aartificial Neural Network

학습 목표

로지스틱 회귀(Logistic Regression)

*언제 사용할까요?

분류(Classification)



\(y \in \{0, 1\}\)

0: “해당사항 없음” | 1: “해당사항 있음”

*일반 회귀 모델과의 차이점은 무엇일까요?

(예시) 정상 몸무게와 비만을 구분해 보세요 :)

(예시) 정상 몸무게와 비만을 구분해 보세요 :)

Threshhold classifier output \(h_\theta(x)\) at 0.5:

  • if \(h_\theta(x) \ge 0.5\), predict “y = 1 (비만)”

  • if \(h_\theta(x) < 0.5\), predict “y = 0 (정상)”

(예시) 정상 몸무게와 비만을 구분해 보세요 :)

  • 선형분류의 문제점은 무엇일까요?

(예시) 정상 몸무게와 비만을 구분해 보세요 :)

선형분류의 문제점

1. 해석적 의미

2. 분류 성능

연결 함수

*로지스틱 회귀 모델의 목표

연결 함수

로지스틱 회귀 모델의 목표


x로 y를 예측


####### (더 정확하게)

\(h_\theta(x) = \hat{y}\),

when \(\hat{y} \in \{0, 1\}\)


*선형분류의 문제를 해결하려면?
(힌트)

\(\infty \le h_\theta(x) \le \infty\)

연결 함수

\(\hat{y}\)가 작으면 y도 작아지고, \(\hat{y}\)가 크면 y도 크게!

그런데 y는 0, 1로 고정되어 있음

\(\hat{y}\)가 y를 예측하는 것이 아니라 y일 확률을 예측하면 어떨까?

x일 때 y일 확률 => \(p(x)\)


*여전히 해결되지 않은 문제가 있어요.

연결 함수

\(0 \le p(x) \le 1\)




Odds(우도)를 사용해보자!

\(Odds(p) := \frac{p}{1 - p}\)


Odds 사용의 당위적 이유 대신 Odds 사용 시 효과에 주목해 보세요.

연결 함수

\(p\) 분포 vs. \(Odds(p)\) 분포

연결 함수

아직도 문제가 있어요.

\(0 \le Odds(p) \le \infty\)

예측되는 범위를 \(-\infty\)로도 확장하고 싶다!

*어떻게 할까요?

연결 함수

이때 필요한 것이 로짓 변환!

\(logit(p) = logOdds(p) = log\frac{p}{1-p}\)

시그모이드 함수 (Sigmoid Function)

이제 x를 가지고 예측해보자!

\(logit(p(x)) = logOdds(p(x)) = h_\theta(x) = wx + b\)

## 
## Call:
## glm(formula = 비만 ~ 몸무게, family = "binomial", data = example_added)
## 
## Deviance Residuals: 
##          1           2           3           4           5           6  
## -2.401e-06  -8.390e-06   1.131e-05   3.236e-06   9.263e-07   2.110e-08  
## 
## Coefficients:
##               Estimate Std. Error z value Pr(>|z|)
## (Intercept)   -176.709 471069.742       0        1
## 몸무게           2.502   6375.400       0        1
## 
## (Dispersion parameter for binomial family taken to be 1)
## 
##     Null deviance: 7.6382e+00  on 5  degrees of freedom
## Residual deviance: 2.1537e-10  on 4  degrees of freedom
## AIC: 4
## 
## Number of Fisher Scoring iterations: 24

시그모이드 함수 (Sigmoid Function)

이제 x를 가지고 예측해보자!

\(\hat{y} = -176.709 + 2.501 \times x\)

## integer(0)

\(p(x) = \frac{1}{1+e^{-(wx+b)}}\)